1
Ringkasan Kursus: Ketidakpastian di Era GenAI
PolyU COMP5511Lecture 5
00:04

Pelajaran 5 menandai perubahan penting dalam COMP5511. Kita beralih dari logika deterministik komputasi klasik dan kepastian terawasi dari model klasifikasi awal menuju inti probabilistik dari Generative AI. Dalam sesi ini, kita mengeksplorasi mengapa model AI modern tidak menghasilkan "fakta" melainkan distribusi probabilitas, mengungkap mekanisme yang memungkinkan LLM menulis puisi dan model difusi menggambar dari noise.

1. Pergeseran Paradigma: Dari Logika ke Probabilitas

  • Melampaui IF-THEN: Bertransisi dari aturan kaku menuju kemungkinan statistik yang fleksibel.
  • Akhir dari Kepastian: Memahami mengapa hasil GenAI bersifat non-deterministik secara desain.
  • Probabilitas sebagai Alat: Bagaimana "Era GenAI" memperlakukan ketidakpastian sebagai fitur untuk kreativitas, bukan sebagai bug yang harus diperbaiki.

2. Mesin Probabilistik Penciptaan

Generative AI mengandalkan sampling dari ruang probabilitas berdimensi tinggi. Baik saat menghasilkan teks maupun gambar, model menavigasi ketidakpastian untuk menghasilkan kebaruan:

  • Large Language Models (LLM): Memprediksi token berikutnya bukan sebagai satu pilihan tunggal, melainkan sebagai distribusi kemungkinan.
  • Model Difusi: Seni merekayasa ulang keteraturan dari noise Gaussian.
  • Proses Sampling: Bagaimana keacakan dimanfaatkan untuk mencegah keluaran yang berulang dan "seperti robot".

3. Agen di Dunia yang Tidak Terduga

Agen Otonom harus menavigasi "Dunia Terbuka" di mana setiap tindakan membawa tingkat risiko dan imbalan yang tidak diketahui.

Trade-off Halusinasi
Model yang murni deterministik memang aman tetapi kurang memiliki pemikiran orisinal. Dengan merangkul ketidakpastian, kita memungkinkan kreativitas, tetapi kita juga memperkenalkan risiko Halusinasi—di mana model dengan percaya diri menghasilkan informasi yang masuk akal namun salah.
Logika Sampling Konseptual
1
Define functionGenerate_Response(Prompt,Temperature):
2
Calculateprobability distribution for all possible next tokens;
3
Adjust distribution based on Temperature(Higher = more diverse, Lower = more focused);
4
Select next token using Weighted Random Choice;
5
Repeat until completion.
Probabilistic Modeling
Modern AI views the world through the lens of statistics rather than binary truths.
Gallery Image